Ông là hậu duệ đời thứ sáu của Từ Hữu Công (徐有功), một quan lại nổi tiếng trong triều đại của Võ Tắc Thiên.[1] Gia tộc của ông xưng là hậu duệ của Cao Dao thời nhà Hạ và có các tổ tiên làm quan của nhà Tần, nhà Hán, Tào Ngụy, nhà Tấn, Lưu Tống, Nam Tề, Nam Lương, Nam Trần, và nhà Đường. Tổ phụ của ông là Từ Tể (徐宰)- từng giữ chức Đại lý bình sự, cha ông là Từ Xương (徐商)- từng giữ chức Đồng bình chương sự trong triều đại của Đường Ý Tông. Từ Ngạn Nhược có ít nhất bốn đệ: Từ Nhân Tự (徐仁嗣), Từ Nhân Củ (徐仁矩), Từ Nhân Phạm (徐仁範), và Từ Nhân Úc (徐仁勗).[2]